import json

# 将爬取到信息写入到文件中
class MyPipeline(object):
    def __init__(self):
        # 打开文件
        self.file = open('data.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        # 读取item中的数据
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line) #写入到文件
        return item

    # spider被开启时被调用
    def open_spider(self, spider):
        pass

    # spider被关闭时被调用
    def close_spider(self, spider):
        pass